# -*- coding=utf-8 -*-

'''
获取每个省的所有数据
第一步是获取总量
第二步是将总数按30条数据分组，看能分成多少组
第三步是将组数循环，然后拼成url来请求

此demo的作用就是获取页面的总数，然后按每页30行来分组
使用url：https://db.yaozh.com/hmap?grade=全部&p=1&pageSize=30&province=四川省&type=全部
'''

import re
import urllib.request
import urllib.parse

def get_province_obj_count(url):
    #print(url.encode("utf-8"))
    page_content=urllib.request.urlopen(url.encode("utf-8").decode("utf-8")).read()
    page_content_decode=page_content.decode("utf-8")
    pattern='data-total="([0-9]+?)"'
    result=re.compile(pattern).findall(page_content_decode)
    return result[0]

if __name__ == '__main__':
    province_name=urllib.parse.quote("四川省")
    grade=urllib.parse.quote("全部")
    type=urllib.parse.quote("全部")
    p=1
    pagesize=30
    base_url="https://db.yaozh.com/"
    param="hmap?grade=%s&p=%d&pageSize=%d&province=%s&type=%s"  % (grade,p,pagesize,province_name,type)
    target_url=base_url+param
    #print(target_url)
    print(get_province_obj_count(target_url))
